The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

在恶性原发性脑肿瘤中，癌细胞浸润到周围的脑结构中，导致不可避免的复发。对周围区域的浸润性异质性（活检或切除可能是危险的区域）的定量评估对于临床决策很重要。以前关于表征周围区域浸润性异质性的工作使用了各种成像方式，但是已经探索了细胞外无水运动限制的信息。在这里，我们通过使用基于扩散的张量成像（DTI）的自由水量分数图来表征一组独特的人工智能（AI）标记，从而捕获肿瘤浸润的异质性，从而捕获肿瘤的异质性。首先通过利用胶质母细胞瘤和脑转移的广泛不同的水扩散性能作为在周围肿瘤组织中有和没有浸润的区域的区域，首先提取了一种新型的基于体素的深度学习周围微环境指数（PMI）。均匀高PMI值的局部枢纽的描述性特征被提取为基于AI的标记，以捕获渗透性异质性的不同方面。提出的标记物应用于两个临床用例，对275个成人型弥漫性神经胶质瘤的独立人群（4级）分析，分析异氯酸盐 - 脱水酶1（IDH1） - wildtypes之间的生存持续时间以及带有IDH1-杀剂的差异。我们的发现提供了一系列标记物作为浸润的替代物，可捕获有关周围微观结构异质性生物学潜在生物学的独特见解，使其成为与生存和分子分层有关的预后生物标志物，并具有潜在的适用性在临床决策中。

评估成像中的乳腺癌风险仍然是一个主观过程，在该过程中，放射科医生采用计算机辅助检测（CAD）系统或定性视觉评估来估计乳房密度（PD）。更先进的机器学习（ML）模型已成为量化早期，准确和公平诊断的乳腺癌风险的最有希望的方法，但是医学研究中的这种模型通常仅限于小型单一机构数据。由于患者人口统计和成像特征可能在成像站点之间有很大差异，因此在单机构数据中训练的模型往往不会很好地概括。为了应对这个问题，提出了Mammodl，这是一种开源软件工具，利用UNET体系结构来准确估计乳腺PD和数字乳房X线摄影（DM）的复杂性。通过开放的联合学习（OpenFL）库，该解决方案可以在多个机构的数据集上进行安全培训。 Mammodl是一个比其前任更精简，更灵活的模型，由于对更大，更具代表性的数据集的支持培训，因此具有改进的概括。

自动生物医学图像分析的领域至关重要地取决于算法验证的可靠和有意义的性能指标。但是，当前的度量使用通常是不明智的，并且不能反映基本的域名。在这里，我们提出了一个全面的框架，该框架指导研究人员以问题意识的方式选择绩效指标。具体而言，我们专注于生物医学图像分析问题，这些问题可以解释为图像，对象或像素级别的分类任务。该框架首先编译域兴趣 - 目标结构 - ，数据集和算法与输出问题相关的属性的属性与问题指纹相关，同时还将其映射到适当的问题类别，即图像级分类，语义分段，实例，实例细分或对象检测。然后，它指导用户选择和应用一组适当的验证指标的过程，同时使他们意识到与个人选择相关的潜在陷阱。在本文中，我们描述了指标重新加载推荐框架的当前状态，目的是从图像分析社区获得建设性的反馈。当前版本是在由60多个图像分析专家的国际联盟中开发的，将在社区驱动的优化之后公开作为用户友好的工具包提供。

人类评分是分割质量的抽象表示。为了近似于稀缺专家数据的人类质量评级，我们训练替代质量估计模型。我们根据Brats注释方案评估复杂的多级分割问题，特别是神经胶质瘤分割。培训数据以15位专家神经放射科学家的质量评级为特征，范围从1到6星，用于各种计算机生成和手动3D注释。即使网络在2D图像上运行并使用稀缺的训练数据，我们也可以在与人类内部内可靠性相当的错误范围内近似分段质量。细分质量预测具有广泛的应用。虽然对分割质量的理解对于成功分割质量算法的成功临床翻译至关重要，但它可以在培训新的分割模型中发挥至关重要的作用。由于推断时间分裂，可以直接在损失函数中或在联合学习设置中作为完全自动的数据集策划机制。

域适应（DA）最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割，但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外，这些数据集主要解决了单级问题。为了解决这些限制，与第24届医学图像计算和计算机辅助干预（Miccai 2021）结合第24届国际会议组织交叉模态域适应（Crossmoda）挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤（VS）的后续和治疗规划的两个关键脑结构：VS和Cochleas。目前，使用对比度增强的T1（CET1）MRI进行VS患者的诊断和监测。然而，使用诸如高分辨率T2（HRT2）MRI的非对比度序列越来越感兴趣。因此，我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1（n = 105）和未配对的非注释的HRT2（n = 105）。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割（n = 137）。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高（最佳中位数骰子 - vs：88.4％; Cochleas：85.7％）并接近完全监督（中位数骰子 - vs：92.5％;耳蜗：87.7％）。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。

深度学习（DL）模型为各种医学成像基准挑战提供了最先进的性能，包括脑肿瘤细分（BRATS）挑战。然而，局灶性病理多隔室分割（例如，肿瘤和病变子区）的任务特别具有挑战性，并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性，可以实现最不确定的地区的临床审查，从而建立信任并铺平临床翻译。最近，已经引入了许多不确定性估计方法，用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中，我们探索并评估在Brats 2019-2020任务期间开发的公制，以对不确定量化量化（Qu-Brats），并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制（1）奖励不确定性估计，对正确断言产生高置信度，以及在不正确的断言处分配低置信水平的估计数，（2）惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性，所有这些都参与了主要的Brats细分任务。总体而言，我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值，因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。

纵向脑磁共振成像（MRI）含有病理扫描的登记是由于组织外观变化而挑战，仍然是未解决的问题。本文介绍了第一脑肿瘤序列登记（Brats-Reg）挑战，重点是估计诊断患有脑弥漫性胶质瘤的同一患者的术前和后续扫描之间的对应关系。 Brats-Reg挑战打算建立可变形登记算法的公共基准环境。关联的数据集包括根据公共解剖模板，为每个扫描的大小和分辨率策划的DE识别的多机构多参数MRI（MPMRI）数据。临床专家在扫描内产生了广泛的标志标记点，描述了跨时域的不同解剖位置。培训数据以及这些地面真相注释将被释放给参与者来设计和开发他们的注册算法，而组织者将扣留验证和测试数据的注释，并用于评估参与者的集装箱化算法。每个所提交的算法都将使用几个度量来定量评估，例如中位绝对误差（MAE），鲁棒性和雅可比的决定因素。

尽管自动图像分析的重要性不断增加，但最近的元研究揭示了有关算法验证的主要缺陷。性能指标对于使用的自动算法的有意义，客观和透明的性能评估和验证尤其是关键，但是在使用特定的指标进行给定的图像分析任务时，对实际陷阱的关注相对较少。这些通常与（1）无视固有的度量属性，例如在存在类不平衡或小目标结构的情况下的行为，（2）无视固有的数据集属性，例如测试的非独立性案例和（3）无视指标应反映的实际生物医学领域的兴趣。该动态文档的目的是说明图像分析领域通常应用的性能指标的重要局限性。在这种情况下，它重点介绍了可以用作图像级分类，语义分割，实例分割或对象检测任务的生物医学图像分析问题。当前版本是基于由全球60多家机构的国际图像分析专家进行的关于指标的Delphi流程。

Data-driven Machine Learning has emerged as a promising approach for building accurate and robust statistical models from medical data, which is collected in huge volumes by modern healthcare systems. Existing medical data is not fully exploited by ML primarily because it sits in data silos and privacy concerns restrict access to this data. However, without access to sufficient data, ML will be prevented from reaching its full potential and, ultimately, from making the transition from research to clinical practice. This paper considers key factors contributing to this issue, explores how Federated Learning (FL) may provide a solution for the future of digital health and highlights the challenges and considerations that need to * Disclaimer: The opinions expressed herein are those of the authors and do not necessarily represent those of the institutions they are affiliated with, e.g. the U.S. Department of Health and Human Services or the National Institutes of Health. This is a pre-print version of https://www.nature.com/articles/s41746-020-00323-1 be addressed.